跳转至

面向搜索智能体的上下文信息策略优化 (CIPO)

文章背景与核心概要

搜索智能体通过赋予大语言模型获取并利用外部证据的能力，显著提升了其在多步推理任务中的表现。然而，现有的强化学习方法往往仅关注最终结果或中间进度，忽略了推理过程是否真正基于检索到的证据。这导致了“先验驱动推理”现象，即智能体倾向于依赖内部知识，仅将检索作为确认偏误的工具，而非真正利用外部信息。

为了解决这一问题，本文提出了“上下文信息策略优化”（Contextual Information Policy Optimization, CIPO）框架。CIPO 引入了一种以证据为导向的强化学习机制，通过为受外部证据影响的推理动作分配密集的轮次级奖励，并结合全局结果奖励，有效抑制了脱离证据的猜测行为。该方法无需人工标注或额外的奖励模型，在多个基准测试中展现了卓越的性能，显著提升了智能体对外部事实的整合能力。

论文元数据 (Paper Metadata)

  • arXiv ID: 2608.06128 [cs.AI]
  • 学科分类: 人工智能 (cs.AI)
  • 作者:
  • Xingyu Guo
  • Wei Chen
  • Linlin Yang
  • Baochang Zhang
  • 提交历史:
  • v1: 2026年8月6日
  • v2: 2026年8月7日 (当前版本)

摘要 (Abstract)

搜索智能体通过使大语言模型能够在多步推理过程中获取并使用外部证据，将其能力扩展到了静态参数化记忆之外。对于涉及复杂或动态信息的知识密集型任务，其可靠性不仅取决于检索到相关证据，还取决于如何利用这些证据来指导后续推理。然而，现有方法主要奖励最终答案的正确性或中间进度，而没有直接评估检索后的动作是否基于所检索到的证据。这种不匹配鼓励了“先验驱动推理”：智能体基于内部知识得出结论，并主要利用检索来确认这些结论，从而导致确认偏误和证据利用效率低下。

Search agents extend large language models beyond static parametric memory by enabling them to acquire and use external evidence during multi-step reasoning. For knowledge-intensive tasks involving complex or evolving information, their reliability depends not only on retrieving relevant evidence but also on using it to guide subsequent reasoning. However, existing methods primarily reward final-answer correctness or intermediate progress, without directly assessing whether post-retrieval actions are grounded in the retrieved evidence. This misalignment encourages prior-driven reasoning: agents form conclusions based on internal knowledge and use retrieval mainly to confirm them, resulting in confirmation bias and inefficient evidence use.

为了解决这一问题，我们提出了“上下文信息策略优化”（Contextual Information Policy Optimization, CIPO），这是一个以证据为导向的强化学习框架，明确将策略优化与外部证据的使用对齐。CIPO 为受检索信息影响的推理动作分配密集的轮次级信用（credit），同时将这种证据使用信号与全局结果奖励相结合，以保持答案的正确性。通过这种方式，CIPO 抑制了脱离证据的猜测，并促进了检索到的事实能够指导或修正后续推理的推理轨迹。重要的是，CIPO 既不需要人工过程标注，也不需要额外的奖励模型。在七个域内和域外基准测试上的广泛实验表明，CIPO 减少了先验驱动推理的普遍性，并在大多数任务上取得了优异的性能。

To address this issue, we propose Contextual Information Policy Optimization (CIPO), an evidence-oriented reinforcement learning framework that explicitly aligns policy optimization with external evidence use. CIPO assigns dense, turn-level credit to reasoning actions influenced by retrieved information, while combining this evidence-use signal with a global outcome reward to preserve answer correctness. With this manner, CIPO discourages evidence-detached guesses and promotes reasoning trajectories in which retrieved facts can guide or revise subsequent reasoning. Importantly, CIPO requires neither human process annotations nor an additional reward model. Extensive experiments on seven in-domain and out-of-domain benchmarks show that CIPO reduces the prevalence of prior-driven reasoning and achieves excellent performance on most tasks.

访问与资源 (Access and Resources)